Visually Grounded Self-Reflection for Vision-Language Models via Reinforcement Learning
基于强化学习的视觉接地自我反思训练框架
🧭 视觉接地自我反思 · 强化学习
The University of Texas at Austin · New York University
通过轨迹前缀掩码与经验回放缓冲区训练视觉语言模型在分布外场景下进行视觉接地的自我反思与修正
📌 工作参考价值（4 点）
- 在多模态对话推荐 Agent 中，可借鉴前缀掩码训练策略：随机遮盖 CoT 前半段，迫使模型仅从中间错误状态恢复，提升对推荐理由或商品比较链路的自我纠正鲁棒性。
- 搜索广告系统中的多模态创意理解模块，可引入经验回放缓冲区存放历史失败案例，通过 RL 让模型反复修正不准确的视觉描述或关键词，增强对长尾商品图片的把握。
- 利用 RL 直接优化自我反思能力，而非仅依赖 SFT 模仿正确链，可让对话推荐 Agent 在陌生领域（如新品、冷启商品）更有效地利用视觉信息进行纠正，避免单一依赖文本模式。
- 轨迹前缀掩码思路也可用于文本 Agent 的自我修正训练：在搜索 Query 改写或回复生成中，随机删除前序推理步骤，让模型学会从半途错误中恢复，降低对初始思路的依赖。